We study experiment design for unique identification of the causal graph of a system where the graph may contain cycles. The presence of cycles in the structure introduces major challenges for experiment design as, unlike acyclic graphs, learning the skeleton of causal graphs with cycles may not be possible from merely the observational distribution. Furthermore, intervening on a variable in such graphs does not necessarily lead to orienting all the edges incident to it. In this paper, we propose an experiment design approach that can learn both cyclic and acyclic graphs and hence, unifies the task of experiment design for both types of graphs. We provide a lower bound on the number of experiments required to guarantee the unique identification of the causal graph in the worst case, showing that the proposed approach is order-optimal in terms of the number of experiments up to an additive logarithmic term. Moreover, we extend our result to the setting where the size of each experiment is bounded by a constant. For this case, we show that our approach is optimal in terms of the size of the largest experiment required for uniquely identifying the causal graph in the worst case.

降低策略梯度方法方差的梯度估计器已成为近年来增强学习研究的主要重点之一，因为它们允许加速估算过程。我们提出了一种称为Sharp的方差降低的策略梯度方法，该方法将二阶信息纳入随机梯度下降（SGD）中，并使用动量和时间变化的学习率。 Sharp Algorithm无参数，实现$ \ Epsilon $ - Appro-Appro-Approximate固定点，带有$ O（\ Epsilon^{ - 3}）$的轨迹数，同时使用批量的大小为$ O（1）$迭代。与以前的大多数工作不同，我们提出的算法不需要重要的抽样，这可能会损害降低方差的优势。此外，估计错误的差异会以$ o（1/t^{2/3}）$的快速速率衰减，其中$ t $是迭代的数量。我们广泛的实验评估表明，拟议算法对各种控制任务的有效性及其对实践中最新状态的优势。

仿制学习是通过利用专家驱动程序演示的数据来学习自主驾驶政策的强大方法。然而，通过模仿学习训练的驾驶政策忽视专家演示的因果结构产生了两个不良行为：惯性和碰撞。在本文中，我们提出了因果模拟模型（CIM）来解决惯性和碰撞问题。CIM明确发现了因果模型，并利用它来培训政策。具体而言，CIM将输入解散到一组潜在变量，选择因果变量，并通过利用所选变量来确定下一个位置。我们的实验表明，我们的方法在惯性和碰撞率方面优于以前的工作。此外，由于利用因果结构，CIM仅将输入维度缩小到两个，因此，可以在几次拍摄设置中适应新环境。代码可在https://github.com/vita -epfl/cim使用。

We consider the problem of federated learning in a one-shot setting in which there are $m$ machines, each observing $n$ sample functions from an unknown distribution on non-convex loss functions. Let $F:[-1,1]^d\rightarrow\mathbb{R}$ be the expected loss function with respect to this unknown distribution. The goal is to find an estimate of the minimizer of $F$. Based on its observations, each machine generates a signal of bounded length $B$ and sends it to a server. The server collects signals of all machines and outputs an estimate of the minimizer of $F$. We show that the expected loss of any algorithm is lower bounded by $\max\big(1/(\sqrt{n}(mB)^{1/d}), 1/\sqrt{mn}\big)$, up to a logarithmic factor. We then prove that this lower bound is order optimal in $m$ and $n$ by presenting a distributed learning algorithm, called Multi-Resolution Estimator for Non-Convex loss function (MRE-NC), whose expected loss matches the lower bound for large $mn$ up to polylogarithmic factors.

本文为基于MPC的基于MPC模型的增强学习方法的计划模块提出了一个新的评分功能，以解决使用奖励功能得分轨迹的固有偏见。所提出的方法使用折现价值和折扣价值提高了现有基于MPC的MBRL方法的学习效率。该方法利用最佳轨迹来指导策略学习，并根据现实世界更新其状态行动价值函数，并增强板载数据。在选定的Mujoco健身环境中评估了所提出方法的学习效率，以及在学习的模拟机器人模型中学习运动技能。结果表明，所提出的方法在学习效率和平均奖励回报方面优于当前的最新算法。

由于交通的固有复杂性和不确定性，自主驾驶决策是一项具有挑战性的任务。例如，相邻的车辆可能随时改变其车道或超越，以通过慢速车辆或帮助交通流量。预期周围车辆的意图，估算其未来状态并将其整合到自动化车辆的决策过程中，可以提高复杂驾驶场景中自动驾驶的可靠性。本文提出了一种基于预测的深入强化学习（PDRL）决策模型，该模型在公路驾驶决策过程中考虑了周围车辆的操纵意图。该模型是使用真实流量数据训练的，并通过模拟平台在各种交通条件下进行了测试。结果表明，与深入的增强学习（DRL）模型相比，提出的PDRL模型通过减少碰撞数量来改善决策绩效，从而导致更安全的驾驶。

本文提出了一个理论和计算框架，用于基于非欧几里得收缩理论对隐式神经网络的训练和鲁棒性验证。基本思想是将神经网络的鲁棒性分析作为可及性问题，使用（i）$ \ ell _ {\ infty} $ - norm inort input-utput-optup-utput lipschitz常数和（ii）网络的紧密包含函数到过度陈列在其可达集合中。首先，对于给定的隐式神经网络，我们使用$ \ ell _ {\ infty} $ - 矩阵测量方法来为其适应性良好的条件提出足够的条件，设计一种迭代算法来计算其固定点，并为其$ \提供上限ell_ \ infty $ -Norm输入输出Lipschitz常数。其次，我们介绍了一个相关的嵌入式网络，并表明嵌入式网络可用于提供原始网络的可触及式集合的$ \ ell_ \ infty $ -Norm Box过度交配。此外，我们使用嵌入式网络来设计一种迭代算法，用于计算原始系统紧密包含函数的上限。第三，我们使用Lipschitz常数的上限和紧密包含函数的上限来设计两种算法，以训练和稳健性验证隐式神经网络。最后，我们应用算法在MNIST数据集上训练隐式神经网络，并将模型的鲁棒性与通过文献中现有方法训练的模型进行比较。

为了计划安全的演习并采取远见卓识，自动驾驶汽车必须能够准确预测不确定的未来。在自主驾驶的背景下，深层神经网络已成功地应用于从数据中学习人类驾驶行为的预测模型。但是，这些预测遭受了级联错误的影响，导致长时间的不准确性。此外，学识渊博的模型是黑匣子，因此通常不清楚它们如何得出预测。相比之下，由人类专家告知的基于规则的模型在其预测中保持长期连贯性，并且是可解释的。但是，这样的模型通常缺乏捕获复杂的现实世界动态所需的足够表现力。在这项工作中，我们开始通过将智能驱动程序模型（一种流行的手工制作的驱动程序模型）嵌入深度神经网络来缩小这一差距。我们的模型的透明度可以提供可观的优势，例如在调试模型并更容易解释其预测时。我们在模拟合并方案中评估我们的方法，表明它产生了可端到端训练的强大模型，并无需为模型的预测准确性提供更大的透明度。

深度学习（DL）算法在不同领域显示出令人印象深刻的性能。其中，由于一些有趣的模式，在过去的几十年中，音频吸引了许多研究人员 - 尤其是在音频数据的分类中。为了更好地执行音频分类，功能选择和组合起着关键作用，因为它们有可能制造或破坏任何DL模型的性能。为了调查这一角色，我们对具有各种最先进的音频特征的多种尖端DL模型（即卷积神经网络，Extricnet，Mobilenet，Supper Vector Machine和Multi-Pecceptron）的性能进行了广泛的评估。 （即MEL频谱图，MEL频率Cepstral系数和零交叉率）在三个不同的数据集上独立或作为组合（即通过结合）（即免费的口语数据集，音频urdu数据集和Audio Gujarati Digits Digaset数据集） ）。总体而言，结果建议特征选择取决于数据集和模型。但是，特征组合应仅限于单独使用时已经实现良好性能的唯一特征（即主要是MEL频谱图，MEL频率Cepstral系数）。这种功能组合/结合使我们能够胜过以前的最新结果，而与我们选择的DL模型无关。

近年来在自动编码器（AE）框架中自动化频道编码器和解码器的设计越来越感兴趣，以便在噪声通道上可靠地传输数据。在本文中，我们为此目的展示了设计AES的新框架。特别地，我们介绍了AE框架，即Listae，其中解码器网络输出解码的消息字候选列表。假设在解码器的输出中可在解码器的输出处获得Genie，并且提出了特定损耗功能，以优化Genie-Aided（GA）-Listae的性能。 Listae是普通AE框架，可以与任何网络架构一起使用。我们提出了一种特定的端到端网络架构，其在一系列组件代码上解码接收的单词，其速率降低。基于所提出的架构的Listae称为增量冗余列表（IR-Listae），在GA解码下的低块误差速率下通过1 dB提高了最先进的AE性能。然后，我们使用循环冗余检查（CRC）代码来替换解码器的Genie，与GA-Listae相比，使CRC-Aided（CA）-Listae具有可忽略的性能损失。由于将CRC附加到消息字，CA-Listae以略微降低的价格显示有意义的编码增益。